X-Rec Technical Report
X-Rec 技术报告：基于流匹配的连续嵌入生成式召回
🧭 生成式推荐 · 连续嵌入 Flow Matching ★ 深度解读
ByteDance · TikTok
用 Riemannian Flow Matching 在连续 item embedding 空间直接建模推荐分布，兼得 SID-AR 表达力与 3.46 倍推理吞吐
📌 工作参考价值（1 点）
- 借鉴连续嵌入生成式召回替代 SID-AR：如果你的 item 已有归一化 embedding（如双塔/对比学习），可以直接用 Flow Matching 在连续空间建模 p(x|c)，避免量化误差和自回归解码，吞吐提升 3.46×，召回与 SID-AR 持平。\n- Anchor Conditioning 实现粗到细生成与多样性控制：先预测目标 item 的粗粒度簇 anchor，再基于 anchor 生成 fine embedding；该设计在 TikTok 上提升 Recall@20 2.05pp，且通过调节 anchor 采样温度可直接控制召回多样性，电商场景可对应类目/品牌/价格带等粗粒度约束。\n- Late-Interaction DiT 大幅提升推理效率：只在最后一层 Transformer 做 velocity 估计，复用前缀 KV cache，1 层相比 14 层仅掉 1.05pp 召回，但吞吐提升 8.28×；适合对 QPS 敏感的在线召回系统。\n- 两阶段训练：先序列预训练，再检索事件 SFT：用因果 attention mask 和前缀 mask 并行计算多步损失；预训练带来 5.27pp 召回提升，建议落地时先在大规模用户序列上预训练，再在具体业务场景 SFT。